Erwin Rommel sinh ra tại Heidenheim an der Brenz, huyện Heidenheim cách Ulm khoảng 50 km, thuộc bang Württemberg (nay là bang Baden-Württemberg), Đế chế Đức. Ông là người con thứ hai của giáo sư Erwin Rommel, hiệu trưởng một trường trung học phổ thông đến hết lớp 10 (tiếng Đức: Progymnasium) theo đạo Tin Lành (Protestant) tại Aalen, với Helene von Luz, con gái của một người có chức sắc tại địa phương. Rommel có một anh trai chế́t sớm tên Manfred, hai em trai Karl và Gerhard, và người chị gái mà ông đặc biệt yêu quý là Helene. Theo lời chị gái kể, khi còn nhỏ, Erwin, một cậu bé tóc bạch kim ốm yếu da dẻ trắng xanh, không thích chơi cũng không thích học, chỉ thích ở gần thiên nhiên. Cậu nhút nhát, tính ngoan ngoãn hay mềm lòng với người nhà đặc biệt là mẹ, nhưng không sợ ai trên đời, khép kín và khó kết bạn (mãi đến già cũng như vậy) nhưng rất cởi mở thân thiện với những người thợ thuyền, lười học nhưng nếu đã thích cái gì thì rất tập trung làm và có kết quả ngay.[9] Ở tuổi 14, Rommel và một người bạn của mình đã làm ra một chiếc tàu lượn có thể bay được, tuy không xa lắm. Lúc trẻ, ông có ý định trở thành một kỹ sư hàng không, thế nhưng cha mẹ ông lại đặt ông trước sự chọn lựa hoặc là trở thành nhà giáo hay là sĩ quan. Ban đầu ông chọn nghề giáo nhưng sau đó bỏ và gia nhập vào trung đoàn bộ binh số 124 của bang Württemberg với chức vụ thiếu sinh quân vào năm 1910 và không lâu sau đó, ông được gửi đến trường Thiếu Sinh Quân tại Danzig.

Trong lúc học tại Danzig, đầu năm 1911, Rommel đã gặp người vợ tương lai của mình là Lucie Maria Mollin. Ông tốt nghiệp vào tháng 11 năm 1911 và được phong chức trung úy vào tháng 1 năm 1912. Trước khi kết hôn, Rommel còn có một mối quan hệ khác với một phụ nữ tên Walburga Stemmer vào năm 1912 và mối tình đó đã đem đến cho hai người một người con gái tên Gertrud. Ông viết cho bà nhiều lá thư với giọng điệu lãng mạn, hơi nông nổi, sau này không còn bao giờ thấy trong thư từ sách vở của ông nữa. Gia đình Rommel phản đối gay gắt đặc biệt là mẹ Rommel vì bà cho rằng xuất thân thấp hèn của Stemmer sẽ làm khó cho việc thăng tiến của Rommel.[10] Lúc ấy, Chiến tranh thế giới thứ nhất gần kề, nếu xuất ngũ để kết hôn với Walburga thì có thể bị coi là hèn nhát, các bạn đồng ngũ của Rommel cũng đều khuyên ông chọn sự nghiệp quân sự. Khi chiến tranh nổ ra, Rommel ra trận, dặn chị gái "Nếu em chết thì tất cả tiền bạc trao lại cho Walburg và Trudel tội nghiệp." Nhưng hết chiến tranh, tình yêu không còn nữa, và Rommel đến gặp Lucie thú thật mọi chuyện. Năm 1916, Rommel làm đám cưới với Lucie. Walburga và Gertrud chuyển về sống với hai vợ chồng và được giới thiệu là "em họ và cháu gái." Walburga biết Rommel hết sức yêu thương chiều chuộng Gertrud nên còn hy vọng và đã chờ ông suốt 12 năm, thế nhưng khi biết Lucie đã có mang thì bà tự tử. Tháng 12, năm 1928 con trai của Rommel ra đời và được đặt tên là Manfred – người con này về sau trở thành thị trưởng của Stuttgart từ 1974 đến 1996.[11][12][13]

Thế chiến thứ I

Trong cuộc Thế chiến thứ I, Erwin Rommel phục vụ tại các mặt trận Pháp, Romania và Ý. Là một Sĩ quan trẻ tuổi, ông có hào khí tham chiến lúc cuộc đại chiến bùng nổ vào năm 1914. Ông miêu tả về Trung đoàn của ông như sau:[14]

Tổng cộng, ông bị thương ba lần và được phong tặng Huân chương Thập tự Sắt (Iron Cross) cả hạng I và hạng II. Rommel trở thành người trẻ tuổi nhất nhận được huân chương cao nhất của Đế chế Đức, Huân chương Pour le Mérite (huân chương này là một vinh dự có tính cách truyền thống chỉ dành cho các vị tướng). Ông nhận được nó sau các trận đánh tại các dãy núi phía đông bắc nước Ý. Phần thưởng này là kết quả từ trận đánh tại Longarone, và việc chiếm giữ được ngọn núi Matajur (ngọn núi này cao 1.650 mét, từ đây có thể quan sát được vùng biển Adriatic) cùng với 150 sĩ quan, 7.000 lính Ý và 81 cây đại bác (trong trận đánh này, Rommel cùng với 100 quân của mình chống lại lực lượng Ý hơn 7.000 người). Tiểu đoàn của Rommel sử dụng khí ga trong chuỗi trận chiến tại Isonzo và còn giữ vai trò chủ chốt trong chiến thắng quyết định của Liên minh Trung tâm trước quân Ý trong trận Caporetto (địa điểm trận đánh ngày nay là Kobarid thuộc Slovenia). Trong khi chiến đấu tại Isonzo, Rommel bị lực lượng Ý bắt giữ nhưng trốn thoát về lại Đức hai tuần sau đó.[15]

Giữa hai thế chiến

Rommel là một trong những sĩ quan có khả năng được đưa lên vị trí cao hơn, Thế nhưng, ông tìm cách từ chối một vị trí trong Truppenamt (tổ chức thay thế cho Bộ Tổng tham mưu quân đội Đức, tổ chức mà Đức không được có theo Hiệp ước Versailles)--con đường để vươn lên cấp chỉ huy cao hơn. Thay vào đó, ông lựa chọn để trở thành một sĩ quan ở tiền tuyến..

Sau Thế chiến thứ I, Rommel nắm giữ một chức chỉ huy cấp tiểu đoàn và là giảng viên tại trường bộ binh Dresden từ 1929 đến 1933, và tại Học viện Chiến tranh Potsdam từ 1935 đến 1937. Năm 1934, quyển "Gefechts-Aufgaben für Zug und Kompanie: Ein Handb. f. d. Offizierunterrich" (Bài tập dành cho Trung đội và Đại đội: Một sách hướng dẫn dành cho sĩ quan huấn luyện). Quyển sách này được in tới tận năm 1945 với năm bản in có điều chỉnh và thay đổi tựa. Từ năm 1935 tới 1938, Rommel làm một công việc chỉ huy tại Học viện Chiến tranh Potsdam. Các quyển nhật ký chiến tranh của Rommel, "Những cuộc Tấn công bằng Bộ binh" (tiếng Đức: Infanterie greift an), xuất bản năm 1937, đã trở thành cuốn sách giáo khoa quân sự được đánh giá cao, và cũng thu hút được sự chú ý của Adolf Hitler. Từ đó, Hitler đã lần lượt giao cho Rommel vị trí thuộc bộ Chiến tranh Đức, chủ yếu là các công việc có liên quan tới tổ chức Đoàn Thanh niên Hitler (tiếng Đức: Hitler Jugend); các vị trí đứng đầu lĩnh vực Thể thao Quân đội.

Năm 1937, Rommel tổ chức một loạt chuyến viếng thăm đến các cuộc mít-tinh và nơi đóng trại của Hitler Jugend. Nơi ông tổ chức các buổi giảng dạy quân sự, kiểm tra cơ sở hạ tầng và dự giờ các buổi giảng. Đồng thời, Rommel còn gây áp lực lên Baldur von Schirach, chỉ huy lúc đó của Hitler Jugend, để ông này chấp nhận sự có mặt nhiều hơn của quân đội trong việc huấn luyện Hitler Jugend. Schirach coi đó là một nỗ lực nhằm mục đích biến Hitler Jugend thành một lực lượng hậu cần cho quân đội Đức. Vì thế, Schirach từ chối mọi đề nghị của Rommel, đồng thời ông này còn trở nên không ưa Rommel, có vẻ là do sự ghen tỵ đối với ảnh hưởng của Rommel trong Hitler Jugend. Cuối cùng thì một thỏa thuận hợp tác giữa Hitler Jugend và quân đội Đức cũng hình thành, nhưng nội dung điều khoản thì chỉ cho phép quân đội tổ chức huấn luyện trong Trường dạy Bắn Súng của Hitler Jugend, ít hơn những gì Rommel mong muốn. Tới trước 1939, Hitler Jugend nhận được khoảng 20.000 sĩ quan huấn luyện bắn súng. Trong thời gian này, Rommel vẫn tiếp tục giảng dạy ở Potsdam, công việc đã mang lại cho ông nhiều phần thưởng của quân đội vì thành tích xuất sắc của mình.

Năm 1938, lúc này Rommel đã là đại tá, ông được chỉ định là chỉ huy của Học viện Chiến tranh tại Wiener Neustadt. Tại đây, Rommel bắt đầu viết cuốn sách có tựa đề "Xe Tăng trong các cuộc Tấn công" (tiếng Đức: Panzer greift an). Không lâu sau đó, Rommel lại được thuyên chuyển và giao quyền chỉ huy Tiểu đoàn Bảo vệ Quốc trưởng (tiếng Đức: Führer-Begleitbattalion) để bảo vệ Hitler trong cuộc thăm viếng của ông này đến Nam Tư và vùng Mermel thuộc Litva. Thời gian này chính là thời gian ông đã gặp Joseph Goebbels, khi này là Bộ trưởng Bộ tuyên truyền Đức. Goebbels về sau trở nên hâm mộ Rommel một cách nhiệt thành và ông này giữ một vai trò quan trọng trong việc làm cho truyền thông Đức luôn đưa tin về các chiến công của Rommel.[16]